Evaluating Interactive Information Retrieval Systems

Neste artigo é proposta uma extensa metodologia para avaliar a recuperação da informação interativa. A proposta baseia-se em princípios fundamentais apresentados na literatura de avaliação para definir os objetivos do sistema ou ferramenta a ser avaliado, e inferir as medidas e os critérios de sucesso na consecução dos objetivos. Propõe-se que, ao avaliar uma ferramenta de pesquisa, seja analisado em que medida ela beneficia os utilizadores, aumentando a sua capacidade de pesquisa e, consequentemente, contribuindo para a qualidade da lista de resultados. Além da qualidade da lista de resultados, é importante avaliar até que ponto o processo de busca e as ferramentas que o suportam atingem os seus objetivos. An extended methodology for evaluating interactive information retrieval is proposed. It is based on principles presented in core evaluation literature to define the goals of the system or tool to be assessed, and infer from that measures and criteria of success in attaining the goals. It is proposed that in assessing a search tool it is analyzed to what extent it benefits users by increasing their ability to search, and consequently, contributes to the quality of the result list. In addition to the quality of the result list, it is important to assess to what extent the search process and tools supporting it met their goals.